[scrapy.downloadermiddlewares.retry] ERROR: Gave up retrying ＜GET＞(failed 3 times): 500 Internal Ser |
您所在的位置：网站首页 › retry error › [scrapy.downloadermiddlewares.retry] ERROR: Gave up retrying ＜GET＞(failed 3 times): 500 Internal Ser |
|
报错信息
这里是为了实现scrapy爬虫的翻页功能，错误很低级，但旨在介绍一下解决被编码问题的便捷思路。 2023-01-20 10:46:00 [scrapy.downloadermiddlewares.retry] ERROR: Gave up retrying (failed 3 times): 500 Internal Server Error 错误分析pageIndex=%7B%7D，浏览器搜索编码转换，选择url编码/解码。我们可以发现%7B%7D解码后为 {}。 也就是说网页链接传入错误 从报错信息中，我们可以发现状态码为500，属于服务器错误类别，所以可以排除爬虫被服务器捕捉到的可能。 def parse(self, response,**kwargs): for i in range(1,10): self.index_add_url = self.index_url.format(i) yield scrapy.Request(url=self.index_url,callback=self.page_index_parse) 正确代码yield里url的链接传错了 def parse(self, response,**kwargs): for i in range(1,10): self.index_add_url = self.index_url.format(i) yield scrapy.Request(url=self.index_add_url,callback=self.page_index_parse) |
今日新闻 |
点击排行 |
|
推荐新闻 |
图片新闻 |
|
专题文章 |
| CopyRight 2018-2019 实验室设备网 版权所有 win10的实时保护怎么永久关闭 |